Schwarzer lớn lên ở vùng ngoại ô Sydney North Richmond và thi đấu cho đội trẻ của câu lạc bộ địa phương Cougars Colo. Anh chính thức bắt đầu sự nghiệp thi đấu chuyên nghiệp tại câu lạc bộ Marconi Stallions vào năm 1990 ở tuổi 19.[3] Mark Schwarzer sau đó chuyển đến câu lạc bộ Đức Dynamo Dresden vào năm 1994 sau 58 trận đấu cho Stallions. Tuy nhiên anh chỉ có 2 lần ra sân cho Dynamo vào mùa giải 1994-95 và năm 1995 anh đến FC Kaiserslautern nhưng một lần nữa anh không có được 1 vị trí tại đây.[4]

Sau đó Schwarzer chuyển đến Anh để khoác áo Bradford City nhưng chỉ có 13 trận tại đây. Vào tháng 2 năm 1997, anh chính thức trở thành cầu thủ của Middlesbrough.[5]

Middlesbrough

Schwarzer có trận đấu đầu tiên cho Middlesbrough trong trận gặp Stockport County tại bán kết League Cup 1996-97. Trong trận chung kết với Leicester City, anh góp mặt trong trận hòa 1–1 nhưng sau đó do chấn thương anh đã không thể tham gia trận đá lại, trận đấu mà sau cùng Middlesbrough đã để thua 1–0. Tuy nhiên đến năm 2004, Schwarzer đã cùng Middlesbrough vô địch League Cup với chiến thắng Bolton Wanderers 2-1 trong trận chung kết.

Vào cuối năm 2005, Schwarzer đã tìm cách tham gia câu lạc bộ mới, nhưng anh đã rút lại đề nghị đó và tiếp tục gắn bó với Middlesbrough. Anh đã ra sân trong trận chung kết Cúp UEFA 2005-06 gặp Sevilla, trận đấu mà Middlesbrough đã để thua đậm 4–0. Vào ngày 29 tháng 12 năm 2007, khi ra sân trong trận thắng Portsmouth 1-0, anh chính thức vượt qua kỷ lục cầu thủ người Hà Lan Dennis Bergkamp để trở thành cầu thủ nước ngoài có số trận thi đấu nhiều nhất cho một câu lạc bộ tại Giải bóng đá Ngoại hạng Anh với 315 trận.[6]

Hợp đồng của Schwarzer với Middlesbrough kết thúc vào tháng 6 năm 2008 dù anh được đề nghị một hợp đồng mới[7] nhưng do kế hoạch của huấn luyện viên Gareth Southgate ưu tiên sử dụng thủ môn mới nên vào ngày 21 tháng 5 năm 2008, Schwarzer đã chính thức ký hợp đồng hai năm với Fulham, chấm dứt 11 năm thi đấu cho câu lạc bộ vùng Teesside với tổng cộng 367 trận.[8][9]

Fulham

Schwarzer có trận đấu đầu tiên cho Fulham trong trận thua 2–1 trước đội bóng vừa thăng hạng Premier League Hull City. Trận đấu tiếp theo anh giữ sạch lưới trong chiến thắng 1-0 trước Arsenal ngay trên sân nhà. Trong suốt mùa giải 2008-09, anh có thành tích giữ sạch lưới mười trận. Sự đóng góp của Mark Schwarzer đưa Fulham từ vị trí 17 mùa giải trước lên vị trí thứ 7 trên bảng xếp hạng của Premier League 2008-09, với thành tích đáng chú ý là các trận thắng Arsenal,Manchester United và một trận hòa với Chelsea. Ngay mùa giải đầu tiên với Fulham, anh đã nhận được danh hiệu cầu thủ xuất sắc nhất mùa giải của câu lạc bộ này.[10]

Tháng 2 năm 2010, anh được chọn là Cầu thủ xuất sắc nhất tháng 2 của Premier League khi chỉ để thủng lưới duy nhất một bàn trong ba trận thắng và hai trận hòa của Fulham.[11] Anh đóng vai trò khá quan trọng khi Fulham đến được Chung kết UEFA Europa League 2010 nhưng Fulham đã để thua Atlético Madrid 2-1.[12]

Phong độ xuất sắc của Schwarzer khiến cho Arsenal chú ý đến anh và đã đưa ra giá 2 triệu bảng cho thủ môn người Úc, nhưng Fulham đã từ chối.[13]

Schwarzer gia hạn hợp đồng với Fulham vào ngày 18 tháng 1 năm 2012, theo đó anh sẽ gắn bó với câu lạc bộ đến mùa hè năm 2013.[14] Ngày 10 tháng 11 năm 2012, Schwarzer cản phá thành công một quả phạt đền ở phút bù giờ giúp Fulham cầm hòa Arsenal 3-3.[15] Ngày 20 tháng 4, anh có trận đấu thứ 500 tại Giải bóng đá Ngoại hạng Anh và chính thức trở thành cầu thủ nước ngoài đầu tiên đạt đến cột mốc này.[16][17]

Ngày 5 tháng 6 năm 2013, Schwarzer tuyên bố sẽ rời Fulham sau khi thủ môn người Hà Lan Maarten Stekelenburg đến câu lạc bộ này.[18]

Chelsea

Ngày 9 tháng 7 năm 2013, câu lạc bộ Chelsea chính thức xác nhận đã ký hợp đồng với Mark Schwarzer theo dạng chuyển nhượng tự do. Thủ môn người Úc đã đồng ý với bản hợp đồng có thời hạn một năm.[19] Anh có trận đấu đầu tiên cho Chelsea trong chiến thắng 2-0 trước Swindon Town tại Football League Cup 2013–14.[20] Trận đấu thứ hai của anh cho Chelsea cũng tại League Cup và anh đã xuất sắc giữ sạch mành lưới giúp Chelsea đánh bại Arsenal 2-0 vào ngày 29 tháng 10 năm 2013.[21]

Ngày 11 tháng 12, Schwarzer trở thành cầu thủ lớn tuổi nhất có trận ra mắt tại UEFA Champions League (41 tuổi 66 ngày) khi ra sân trong chiến thắng 1-0 của Chelsea trước Steaua București, một kết quả giúp Chelsea lọt vào vòng đấu loại trực tiếp ở vị trí nhất bảng.[22][23] Phải đến ngày 19 tháng 4 năm 2014, anh mới có trận đấu đầu tiên tại Premier League 2013-14 cho Chelsea gặp Sunderland và điều này giúp anh trở thành cầu thủ lớn tuổi nhất của Chelsea được đá chính tại giải Ngoại hạng Anh, với 41 tuổi 195 ngày, vượt qua kỷ lục cũ của Graham Rix (37 tuổi, 203 ngày).[24] Tuy nhiên anh có màn trình diễn đáng quên khi đã mắc sai lầm trong bàn thua đầu tiên của Chelsea và chung cuộc Chelsea để thua 2-1 trên sân nhà.[25] Một tuần sau đó, trong chiến thắng 2-0 trước đội đầu bảng Liverpool, anh đã góp công lớn với tám pha cứu thua cho Chelsea.[26]

Ngày 22 tháng 4, anh vào sân thay cho thủ môn chính thức của Chelsea là Petr Čech bị chấn thương ở hiệp 1 trận bán kết UEFA Champions League với Atlético Madrid, trở thành cầu thủ lớn tuổi nhất góp mặt ở vòng đấu loại trực tiếp Champions League và đã bảo vệ thành công khung thành của Chelsea[27] tuy nhiên trong trận lượt về Chelsea đã để thua 3-1. Năm ngày sau đó, anh bắt chính trong trận đấu với Liverpool tại Anfield và đã có nhiều pha cản phá xuất sắc góp công vào chiến thắng 2-0 của Chelsea.[28]

Leicester City

Ngày 6 tháng 1 năm 2015, Schwarzer chuyển đến Leicester City đang thi đấu tại Premier League theo dạng chuyển nhượng tự do với hợp đồng 18 tháng để thay thế cho thủ môn Kasper Schmeichel bị chấn thương.[29] Schwarzer có trận đấu đầu tiên cho Leicester trong chiến thắng 2-1 trước Tottenham tại Cúp FA 2014–15 và trở thành cầu thủ lớn tuổi nhất thi đấu cho Leicester.[30] Một tuần sau, anh có trận đấu đầu tiên tại Premier League cho Leicester trong trận thua Manchester United.[31] Sau khi cùng Leicester City giành chức vô địch ngoại hạng Anh mùa giải 2015–16, Mark Schwarzer chính thức giã từ sự nghiệp thi đấu quốc tế sau 26 năm thi đấu chuyên nghiệp.